设置VMWare的IP地址

VMWare中，点击编辑->虚拟网络编辑器，会看见VMnet1和VMnet8。选中VMnet8，点击更改设置。再次点击编辑->虚拟网络编辑器，会看见VMnet0，VMnet1和VMnet8。选中VMnet8，可以将子网IP第三个八位字节设置为10（如192.168.10.0）。点击NAT设置，将网关IP也同样设置（网关IP的第四个八位字节一般是2）。最后，点击虚拟网络编辑器中的确定。

本机Windows中设置VMnet8的地址

在本机中，点击以太网->更改适配器选项->VMWare Network Adapter VMnet8->属性->Internet协议版本 4。按照下图配置。

虚拟机内部设置IP地址

打开文件。如果识别不出vim命令，则需要下载apt install vim。

su root
sudo vim /etc/netplan/01-network-manager-all.yaml

键入i进入编辑模式。

network:
  version: 2
  renderer: networkd
  ethernets:
    ens33:
      dhcp4: no
      addresses:
        - 192.168.10.100/24
      gateway4: 192.168.10.2
      nameservers:
        addresses:
          - 192.168.10.2

按Esc，再键入:wq可以保存修改的内容。

应用更改：

sudo netplan apply

修改主机名称：

vim /etc/hostname

建立IP地址与主机名的映射关系：

sudo vim /etc/hosts

增加下述内容：

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

1. 使用ifconfig检查ens33部分的内容，查看inet是否为192.168.10.100。

2. 然后再ping www.baidu.com看看是否能访问外网。

3. hostname查看主机名称是否为hadoop100

在克隆出的新的虚拟机中，需要修改01-netcfg.yaml中的ens33 的 addresses 为192.168.10.102、192.168.10.103等，以及修改主机名即可。

scp复制文件到其他节点

使用scp命令复制文件到其他节点上。但是这个命令不能复制文件夹到其他节点上。

# 从hadoop102拷贝jdk-22.0.1到hadoop103相同目录下
scp -r /home/zt/development/JDK17/jdk-22.0.1 zt@hadoop103:/home/zt/development/JDK17

# 从hadoop103拉取hadoop102的hadoop-3.3.6
scp -r zt@hadoop102:/home/zt/development/Hadoop336/hadoop-3.3.6 ./

# 在hadoop103执行命令将hadoop102的jdk-22.0.1和hadoop-3.3.6拷贝到hadoop104上
scp -r zt@hadoop102:/home/zt/development/* zt@hadoop104:/home/zt/development

上述代码在hadoop103将“公钥-私钥”对创建好了发送公钥给hadoop104后，才能够被成功执行。

rsync同步文件夹

rsync -av /home/zt/development/Hadoop336/hadoop-3.3.6 zt@hadoop104:/home/zt/development/hadoop-3.3.6

循环复制文件到所有节点的相同目录下

使用自定义命令。

#在/home/zt/bin目录下（没有则创建mkdir bin）
vim xsync

在xsync中写入：

if [ $# -lt 1]
then 
    echo Not Enough Arguement!
    exit;
fi

for host in hadoop102 hadoop103 hadoop104
do
    echo ============ $host ============
    for file in $@
    do
        if [ -e $file ];
            then
                pdir=$(cd -P $(dirname $file); pwd)
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

然后执行chmod 777 xsync。

然后在/home/zt目录下运行：bin/xsync bin/即可将bin文件夹及其内容同步到hadoop103和hadoop104的/home/zt中了。

注意该命令为用户自建命令。如果在root用户下执行该命令时要给该命令加上绝对路径，让root用户能找到该命令。

core配置

$HADOOP_HOME/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>
    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/zt/development/Hadoop336/data</value>
    </property>
    <!-- 配置HDFS网页登录使用的静态用户为zt -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>zt</value>
    </property>
</configuration>

HDFS配置

$HADOOP_HOME/etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 暴露NameNode的Web访问地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    <!-- 暴露Secondary NameNode的Web访问地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

我把上面的hadoop102:9870给配置成了0.0.0.0:9870用以尝试能否在本地电脑上通过网址http://1.95.72.190:9870访问到华为云服务器上的HDFS的web页面。暂时还没有成功。

YARN配置

$HADOOP_HOME/etc/hadoop/yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走Shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定ResourceManaer的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
</configuration>

MapReduce配置文件

$HADOOP_HOME/etc/hadoop/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MapReduce运行在YARN上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

集群初始化

在$HADOOP_HOME/etc/hadoop/workers中将localhost修改为：

hadoop102
hadoop103
hadoop104

在$HADOOP_HOME下执行命令hdfs namenode -format初始化。初始化完成后会在$HADOOP_HOME目录下出现logs文件夹，以及在.xml配置文件中指定的hadoop数据存储目录下生成data文件夹。在这个data文件夹中的data/dfs/name/current/VERSION存放的是版本号：

#Wed Sep 04 09:06:26 EDT 2024
blockpoolID=BP-1667933497-192.168.10.102-1725455186531
cTime=1725455186531
clusterID=CID-95dd7d98-be69-4b43-a791-7adc3ee4b196
layoutVersion=-66
namespaceID=1642564378
storageType=NAME_NODE

启动HDFS

HDFS不允许用root用户启动，为了强制使用root用户进行操作，可以在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中添加下述内容。（不建议这样做）

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

export YARN_NODEMANAGER_USER=root
export YARN_RESOURCEMANAGER_USER=root

在节点hadoop102的$HADOOP_HOME目录下执行命令sbin/start-dfs.sh可以启动HDFS。Web端hdfs位于http://hadoop102:9870。

在指向上面的命名时我出现了一个报错说三个节点上都找不到JAVA_HOME。打开$HADOOP_HOME/etc/hadoop/hadoop-env.sh，追加下述内容即可。

export JAVA_HOME=/home/zt/development/JDK17/jdk-22.0.1

执行jps可以显示正在运行的Java进程。

启动YARN

在节点hadoop103的$HADOOP_HOME目录下执行命令sbin/start-yarn.sh可以启动YARN。Web端yarn位于http://hadoop103:8088。

Java22版本在启动yarn时会出错，尝试使用Java8版本，并更改环境变量my_env.sh和hadoop环境变量hadoop-env.sh后再次启动YARN则不会出现问题。

执行jps可以显示正在运行的Java进程。

测试HDFS

# 在hadoop根目录下创建新文件夹
hadoop fs -mkdir /myfolder
# 上传本节点文件到myfolder文件夹
hadoop fs -put /home/zt/mytest.txt /myfolder

上传到hadoop的上述文件实际上是被分成了多个数据块被存储到了每一个DataNode中，每个DataNode都有一份该文件的副本。具体路径为:

Hadoop336/data/dfs/data/current/BP-1433059334-192.168.10.102-1725551956628/current/finalized/subdir0/subdir0

每一个DataNode中都有所上传的mytest.txt文件的完整版。如果是一个大文件，它可能被拆分并存储到几个”blk_…“文件中。

测试YARN

# 在$HADOOP_HOME路径下执行下述命令。
# 确保在/myfolder下有一个用于被统计单词数量的.txt文件
# /myfolderOutput为输出文件夹
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /myfolder /myfolderOutput

HDFS上传、下载操作

# 查看某一hadoop命令的帮助文档
hadoop fs -help rm
# 在hadoop的根目录下创建一个名为threekingdoms的空文件夹
hadoop fs -mkdir /threekingdoms
# 将本节点的当前目录下的本地文件剪切上传到HDFS中，本地被上传的文件会被删除
hadoop fs -moveFromLocal ./shukingdom.txt /threekingdoms
# 将本节点的当前目录下的本地文件复制上传到HDFS中，与-put命令效果相同
hadoop fs -copyFromLocal ./shukingdom.txt /threekingdoms
# 追加一个文件到目的文件的末尾
hadoop fs -appendToFile ./jinkingdom.txt /threekingdoms/weikingdom.txt
# 从HDFS拷贝到本地，与-get命令效果相同
hadoop fs -copyToLocal /threekingdoms/shukingdom.txt ./

HDFS常用操作

# 将HDFS中一个文件拷贝到HDFS中的另一个路径中
hadoop fs -cp /myfolder/mytest.txt /threekingdoms
# 将HDFS中一个文件移动到HDFS中的另一个路径中
hadoop fs -mv /myfolder/mytest.txt /threekingdoms
# 递归删除一个目录中所有的内容
hadoop fs -rm -r /threekingdoms
# 将HDFS文件的所有者改为zt:ztgroup，冒号前时owner，冒号后是Group
hadoop fs -chown zt:ztgroup /threekingdoms
# 显示一个文件末尾1KB的数据
hadoop fs -tail /threekingdoms/weikingdom.txt
# 显示HDFS一个文件夹的大小，比如：44 132，44表示在一个datanode上的文件大小，132表示在所有datanode上的文件大小。
hadoop fs -du -s -h /threekingdoms
# 显示HDFS一个文件夹中所有文件和子文件夹的大小
hadoop fs -du -h /threekingdoms
# 设置副本数量为10，10会记录在NameNode元数据中，因为实际只有三个DataNode，因此最多只能有三个副本。不会对物理内存造成影响。
hadoop fs -setrep 10 /threekingdoms

fsimage和edits

在NameNode被初始化后，在Hadoop336/data/dfs/name/current中会生成下述四个文件：

fsimage_0000000000000000000
fsimage_0000000000000000000.md
seen_txid
VERSION

fimage文件是HDFS元数据中的一个永久性检查点，包含HDFS文件系统的所有目录和文件inode的序列化信息。可以使用下述命令查看每一个fsimage文件。

hdfs oiv -p XML -i fsimage_0000000000000000000 -o /my/path/to/store/myfsimage.xml

edits是存放HDFS所有更新操作的文件，客户端请求的所有操作首先会被记录到edits中。可以使用下述命令查看每一个edits文件。

hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /my/path/to/store/myedits.xml

seen_txid文件保存的是一个数字，即最后一个edits_的数字。

设置CheckPont默认触发

在hdfs-default.xml中添加下述配置，设置NameNode的CheckPoint的默认触发时间是1小时，默认edits满操作次数是10000次，检查edits操作次数的时间间隔为1分钟。

<property>
    <name>dfs.namenode.checkpoint.period</name>
    <value>3600s</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.txns</name>
    <value>10000</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.check.period</name>
    <value>60s</value>
</property>